إذا لم تتمكن من التقاط ما تريد البحث عنه من خلال صورة فقط، فسيتيح لك Google Lens الآن التقاط مقطع فيديو وحتى استخدام صوتك للسؤال عما تراه.
ستعرض الميزة نظرة عامة على الذكاء الاصطناعي ونتائج البحث بناءً على محتويات الفيديو وسؤالك. يتم طرحها في Search Labs على Android وiOS اليوم.
قامت Google بمعاينة استخدام الفيديو للبحث لأول مرة في I/O في مايو. على سبيل المثال، تقول Google إن الشخص الذي يشعر بالفضول بشأن الأسماك التي يراها في حوض السمك يمكنه رفع هاتفه أمام المعروض وفتح تطبيق Google Lens ثم الضغط باستمرار على زر الغالق. بمجرد بدء Lens في التسجيل، يمكنه قول سؤاله: "لماذا يسبحون معًا؟" ثم يستخدم Google Lens نموذج Gemini AI لتقديم استجابة، على غرار ما تراه في ملف GIF أدناه.
عند الحديث عن التقنية وراء هذه الميزة، قال راجان باتيل، نائب رئيس الهندسة في Google، لموقع The Verge إن Google تلتقط الفيديو "كسلسلة من إطارات الصور ثم تطبق نفس تقنيات الرؤية الحاسوبية" المستخدمة سابقًا في Lens. لكن Google تتخذ خطوة أبعد من ذلك من خلال تمرير المعلومات إلى نموذج Gemini "مخصص" تم تطويره "لفهم إطارات متعددة في تسلسل ... ثم تقديم استجابة متجذرة في الويب".
لا يوجد دعم لتحديد الأصوات في مقطع فيديو حتى الآن - كما لو كنت تحاول تحديد طائر تسمعه - لكن باتيل يقول إن هذا شيء كانت Google "تجربه".
يقوم Google Lens أيضًا بتحديث ميزة البحث عن الصور الخاصة به بالقدرة على طرح سؤال باستخدام صوتك. لتجربتها، وجه الكاميرا نحو موضوعك، واضغط باستمرار على زر الغالق، ثم اطرح سؤالك. قبل هذا التغيير، كان بإمكانك فقط كتابة سؤالك في Lens بعد التقاط صورة. يتم طرح الأسئلة الصوتية عالميًا على Android وiOS، ولكنها متاحة باللغة الإنجليزية فقط في الوقت الحالي.
